Berkman có tên lúc sinh là Ovsei Osipovich Berkman ở thành phố Vilnius (lúc đó là Vilna, thuộc Vilna Governorate ở Đế quốc Nga).[1][2] Ông là con út trong gia đình 4 người con trong gia đình Do Thái giàu có. Cha của Berkman, Osip Berkman, là một nhà buôn lông thành đạt, còn mẹ ông là Yetta Berkman (nhũ danh Natanson), xuất thân từ gia đình giàu có.[3]

Năm 1877, Osip Berkman được ban quyền, là một nhà buôn thành đạt, được di chuyển từ Pale of Settlement mà người Do Thái thường bị giới hạn trong Đế quốc Nga. Gia đình đã chuyển đến Saint Petersburg, một thành phố trước đó nằm ngoài giới hạn khu vực của dân Do Thái.[4]